视频容易篡改攻击,从而改变含义并欺骗观众。以前的视频伪造检测方案找到了微小的线索来定位篡改区域。但是,攻击者可以通过使用视频压缩或模糊破坏此类线索来成功逃避监督。本文提出了一个视频水印网络,用于篡改本地化。我们共同训练一个基于3D-UNET的水印嵌入网络和一个预测篡改面罩的解码器。水印嵌入产生的扰动几乎是无法察觉的。考虑到没有现成的可区分的视频编解码器模拟器,我们建议通过结合其他典型攻击的模拟结果来模仿视频压缩,例如JPEG压缩和模糊,作为近似值。实验结果表明,我们的方法生成具有良好不可识别的水印视频,并且在攻击版本中可以稳健,准确地定位篡改区域。
translated by 谷歌翻译
互联网技术的发展不断增强谣言和虚假新闻的传播和破坏力。先前关于多媒体假新闻检测的研究包括一系列复杂的功能提取和融合网络,以实现图像和文本之间的特征对齐。但是,多模式功能由什么组成,以及来自不同模式的特征如何影响决策过程仍然是开放的问题。我们介绍了Aura,这是一个具有自适应单峰表示聚合的多模式假新闻检测网络。我们首先从图像模式,图像语义和文本中分别提取表示形式,并通过将语义和语言表示形式发送到专家网络来生成多模式表示。然后,我们根据单峰和多模式表示,进行粗级的虚假新闻检测和跨模式宇宙性学习。分类和一致性得分被映射到模态感知的注意分数,以重新调整功能。最后,我们汇总并将加权功能分类用于精制的假新闻检测。关于微博和八卦的综合实验证明,Aura可以成功击败几个最先进的FND方案,在该方案中,整体预测准确性和对假新闻的回忆得到稳步改善。
translated by 谷歌翻译
图像裁剪是一种廉价而有效的恶意改变图像内容的操作。现有的裁剪检测机制分析了图像裁剪的基本痕迹,例如色差和渐晕,以发现种植攻击。但是,它们在常见的后处理攻击方面脆弱,通过删除此类提示,欺骗取证。此外,他们忽略了这样一个事实,即恢复裁剪的内容可以揭示出行为造成攻击的目的。本文提出了一种新型的强大水印方案,用于图像裁剪定位和恢复(CLR-NET)。我们首先通过引入不可察觉的扰动来保护原始图像。然后,模拟典型的图像后处理攻击以侵蚀受保护的图像。在收件人方面,我们预测裁剪面膜并恢复原始图像。我们提出了两个即插即用网络,以改善CLR-NET的现实鲁棒性,即细粒生成性JPEG模拟器(FG-JPEG)和Siamese图像预处理网络。据我们所知,我们是第一个解决图像裁剪本地化和整个图像从片段中恢复的综合挑战的人。实验表明,尽管存在各种类型的图像处理攻击,但CLR-NET可以准确地定位裁剪,并以高质量和忠诚度恢复裁剪区域的细节。
translated by 谷歌翻译
自动描绘器官风险(OAR)和总肿瘤体积(GTV)对于放射治疗计划具有重要意义。然而,在有限的像素(体素)向内注释下,学习强大的描绘的强大表示是一个具有挑战性的任务。在像素级别的对比学习可以通过从未标记数据学习密集的表示来缓解对注释的依赖性。最近在该方向上的研究设计了特征图上的各种对比损失,以产生地图中每个像素的鉴别特征。然而,同一地图中的像素不可避免地共享语义,其实际上可能影响同一地图中的像素的辨别,并导致与其他地图中的像素相比。为了解决这些问题,我们提出了分离的区域级对比学习计划,即Separeg,其核心是将每个图像分离成区域并分别对每个区域进行编码。具体地,Separeg包括两个组件:结构感知图像分离(SIS)模块和器官和室内间蒸馏(IID)模块。 SIS被提出在图像集上运行以重建在结构信息的指导下设置的区域。将通过典型的对比损失交叉区域从此学习机关间代表。另一方面,提出了IID来解决设定的区域中的数量不平衡,因为通过利用器官表示,微小器官可以产生较少的区域。我们进行了广泛的实验,以评估公共数据集和两个私有数据集的提出模型。实验结果表明了拟议模型的有效性,始终如一地实现比最先进的方法更好的性能。代码可在https://github.com/jcwang123/separate_cl上获得。
translated by 谷歌翻译
监督PIX2PIX和无监督的周期一致性是两个模式,主导医学图像到图像转换的领域。但是,两种模式都是理想的。 PIX2PIX模式具有出色的性能。但是它需要配对且良好的像素 - 明智的对齐图像,这可能并不总是可以实现由于获取配对图像的次数之间的呼吸运动或解剖学变化。循环一致性模式与训练数据不那么严格,并且在未配对或未对齐的图像上运行良好。但它的表现可能不是最佳的。为了打破现有模式的困境,我们提出了一种称为中文的新的无监督模式,用于医学图像到图像转换。它基于“损失校正”理论。在登录中,未对准的目标图像被认为是嘈杂的标签,并且发电机接受了额外的登记网络,以适应性地拟合未对准的噪声分布。目标是搜索图像到图像转换和注册任务的常见最佳解决方案。我们将登上regan纳入一些最先进的图像到图像形象翻译方法,并证明了Regan可以很容易地与这些方法结合,以改善他们的性能。如我们模式中简单的Cyclegan,即使使用较少的网络参数,也会超越最新的漂亮。根据我们的结果,Reggan以错位或未配对数据上的对齐数据和周期一致性的PIX2PIX两者都表现优惠。 Reggan对噪音不敏感,这使得它可以更好地选择各种场景,特别是对于医学图像到图像转换任务,其中不可用的井像素对齐数据
translated by 谷歌翻译
在过去的十年中,多任务学习方法在解决全景驱动感知问题方面取得了令人鼓舞的结果,提供了高精度和高效效率。在为实时自动驾驶系统设计网络时,它已成为流行的范式,在该系统中,计算资源受到限制。本文提出了一个有效,有效的多任务学习网络,以同时执行交通对象检测,可驱动的道路区域细分和车道检测的任务。我们的模型以挑战性的BDD100K数据集的准确性和速度来实现新的最先进(SOTA)性能。特别是,与先前的SOTA模型相比,推理时间减少了一半。代码将在不久的将来发布。
translated by 谷歌翻译
在线社交网络比以往任何时候都更加激发了互联网的通信,这使得在此类嘈杂渠道上传输秘密消息是可能的。在本文中,我们提出了一个名为CIS-NET的无封面图像隐志网络,该网络合成了直接在秘密消息上传输的高质量图像。 CIS-NET由四个模块组成,即生成,对抗,提取和噪声模块。接收器可以提取隐藏的消息而不会损失任何损失,即使图像已被JPEG压缩攻击扭曲。为了掩盖隐肌的行为,我们在个人资料照片和贴纸的背景下收集了图像,并相应地训练了我们的网络。因此,生成的图像更倾向于摆脱恶意检测和攻击。与先前的图像隐志方法相比,区分主要是针对各种攻击的鲁棒性和无损性。各种公共数据集的实验已经表现出抗坚果分析的卓越能力。
translated by 谷歌翻译
深度学习在各种工业应用中取得了巨大成功。公司不希望他们的宝贵数据被恶意员工偷来培训盗版模式。他们也不希望竞争对手在线使用后分析的数据。我们提出了一种新的解决方案,在这种情况下,通过稳健地并可逆地将图像转换为对手图像。我们开发一个可逆的对抗性示例生成器(Raeg),对图像引入略微变化以欺骗传统的分类模型。尽管恶意攻击培训基于Deacened版本的受保护图像的盗版模型,但Raeg可以显着削弱这些模型的功能。同时,Raeg的可逆性确保了授权模型的表现。广泛的实验表明,Raeg可以通过比以前的方法更好地防止对抗对抗防御的轻微扭曲。
translated by 谷歌翻译
Benefiting from the intrinsic supervision information exploitation capability, contrastive learning has achieved promising performance in the field of deep graph clustering recently. However, we observe that two drawbacks of the positive and negative sample construction mechanisms limit the performance of existing algorithms from further improvement. 1) The quality of positive samples heavily depends on the carefully designed data augmentations, while inappropriate data augmentations would easily lead to the semantic drift and indiscriminative positive samples. 2) The constructed negative samples are not reliable for ignoring important clustering information. To solve these problems, we propose a Cluster-guided Contrastive deep Graph Clustering network (CCGC) by mining the intrinsic supervision information in the high-confidence clustering results. Specifically, instead of conducting complex node or edge perturbation, we construct two views of the graph by designing special Siamese encoders whose weights are not shared between the sibling sub-networks. Then, guided by the high-confidence clustering information, we carefully select and construct the positive samples from the same high-confidence cluster in two views. Moreover, to construct semantic meaningful negative sample pairs, we regard the centers of different high-confidence clusters as negative samples, thus improving the discriminative capability and reliability of the constructed sample pairs. Lastly, we design an objective function to pull close the samples from the same cluster while pushing away those from other clusters by maximizing and minimizing the cross-view cosine similarity between positive and negative samples. Extensive experimental results on six datasets demonstrate the effectiveness of CCGC compared with the existing state-of-the-art algorithms.
translated by 谷歌翻译
As one of the prevalent methods to achieve automation systems, Imitation Learning (IL) presents a promising performance in a wide range of domains. However, despite the considerable improvement in policy performance, the corresponding research on the explainability of IL models is still limited. Inspired by the recent approaches in explainable artificial intelligence methods, we proposed a model-agnostic explaining framework for IL models called R2RISE. R2RISE aims to explain the overall policy performance with respect to the frames in demonstrations. It iteratively retrains the black-box IL model from the randomized masked demonstrations and uses the conventional evaluation outcome environment returns as the coefficient to build an importance map. We also conducted experiments to investigate three major questions concerning frames' importance equality, the effectiveness of the importance map, and connections between importance maps from different IL models. The result shows that R2RISE successfully distinguishes important frames from the demonstrations.
translated by 谷歌翻译